Lift Chart（リフトチャート） | Alteryx Predictive Tools 道場 Advent Calendar 2018 #10

「カスタマーストーリー」を支えるツール特集

#ビッグデータ

#ビジネス・アナリティクス

#Alteryx

niino

2018.12.10

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

こんにちは、にいのです。

当エントリは『Alteryx Predictive Tools 道場 Advent Calendar 2018』の10日目のエントリです。12月ももう中盤ですが、まだまだアドベントカレンダーは続きます！

クラスメソッド Alteryx Predictive Tools 道場 Advent Calendar 2018 - Qiita Alteryx Predictive Tools 道場 Advent Calendar ｜シリーズ｜ DevelopersIO

前提条件

Alteryxは「Alteryx Designer / Version 2018.4」を利用しています。

サンプルワークフローとは？

Alteryxでは、Predictive Toolを使用したサンプルワークフローを参照することができます。[Help]→[Sample Workflows]→[Predictive Tool samples]→[Predictive Analytics]から参照可能です。参照にはAlteryx Predictive Tools with Rがインストールされている必要があります。

そもそもLift Chart（リフトチャート）とは？

予測モデルを視覚的に比較する手法です。複数のモデルを使って予測をする際、それぞれのモデルの評価をグラフ化することで比較することができます。Lift Chart Toolで作成したチャートを後述しますが、数値が最大値の1に近いほど信頼性の高いモデルと言えます。

サンプルワークフローを読み解く

Lift Chartのサンプルワークフローの全体図は以下の通りです。Forest Model、Decision Tree、Logistic Regression、Stepwiseの４つの予測モデルと、擬似的に未知のデータとして取り扱っている評価用データを最後に繋げられたLift Chart Toolで比較をする、という処理を行なっています。評価用データについてはCreate Samples Toolの項目で解説します。

インプットファイル

データの元ネタはMachine Learning RepositoryのStatlog (German Credit Data) Data Set　です。このデータではドイツの人々をクレジットリスクの良し悪しで分類しています。データの最後に[Default（債務不履行の有無）]の項目が追加されており、値はYes/Noの２種類となっております。他のサンプルワークフローでもよく使われているので、見覚えのある方もいらっしゃるのではないでしょうか。

このインプットファイルに対して下記の２つのツールを通してデータを整形します。

Oversample Field Tool

まずはOversample field toolを使って、項目[Default（債務不履行の有無）]の値（Yes/No）の数をそれぞれ50%ずつに調整します。調整された結果、レコード数が1000件→600件に減ります。

Create Samples Tool

このツールを使って、評価用のデータと学習用のデータの２種類を作成します。評価用と学習用それぞれ50%ずつの割合となるように設定されています。Eアンカーからアウトプットされる学習用データは比較対象となる4つの予測モデルのツールに繋げられており、Vアンカーからアウトプットされている評価用のデータはLift Chart Toolに繋げられています。

この処理のねらいとしては、未知のデータをどれだけうまく予測できるかを測ることです。予測結果の信頼性を測る指標として、未知のデータをどれだけうまく予測できているかが重要ですが、未知のデータは手元にありません。そこで、学習に使うデータとそうでないデータを分割し、学習に使用しないデータを擬似的に未知のデータと仮定しています。下記ブログでも紹介されておりますので、合わせてご参照ください。